前言

Neural Networks 在影像、文字、語音等自然使用者介面(NUI)處理有突破性的發展，之前我們已經見證過影像及文字的辨識威力了，從這一篇開始，我們要開始見識『自動語音識別』(Automatic Speech Recognition)方面的發展。

語音處理的概念

人類講話的聲音可以以『示波器』(Oscilloscope)測量成一個隨時間變化的波形信號，這種信號對時間的關係，稱之為『時域』(Time Domain)，在電腦對信號進行分析時，通常信號會先被轉換成在不同頻率下對應的振幅及相位，稱之為『頻域』（frequency domain），轉換的公式稱為『傅立葉變換』（Fourier transform)，信號經過每隔一段時間取樣，就得到可以進行分析的數位音檔，附檔名通常是 wav。

根據 Nyquist 定理，如果想要從數位信號無損轉到類比信號，我們需要以最高信號頻率的2倍的採樣頻率進行採樣。通常人的聲音的平率大概在3kHz~4kHz ，因此語音辨識通常使用8k或者16k的wav提取特徵。例如，16kHz取樣速率的音訊，經『傅立葉變換』後的頻率範圍為0-8KHz。
-- 節錄自 Kaldi特征提取之-FBank

圖. 『示波器』(Oscilloscope)，圖片來源：國立臺灣大學普通物理實驗室

圖. 聲音取樣，圖片來源：國立臺灣大學普通物理實驗室

為了方便作語音辨識，與影像一樣，我們會對語音作特徵抽取(Feature Extraction)，目前有 FBank、MFCC(Mel frequency cepstral coefficients) 兩種，特徵抽取前須先對聲音作前置處理：

1. 幀(Frame)切割：通常每幀是25ms，幀與幀之間重疊10ms，以避免邊界信號的遺漏。
2. 信號加強：針對高頻信號作加強，使信號更清楚。
3. 加窗(Window)：目的是消除各個幀兩端可能會造成的信號不連續性，常用的窗函數有方窗、漢明窗等。
4. 去除雜訊(denoising or noise reduction)。
   
   圖. 聲音前置處理，圖片來源：Preprocessing

圖. Windowing and frame formation，圖片來源：Preprocessing

FBank相鄰的特徵高度相關（相鄰濾波器組有重疊），需要進行倒譜轉換，通過這樣得到MFCC特徵。MFCC具有更好的判別度，大多數語音辨識論文中用的是MFCC。
-- 節錄自 kaldi之fbank和mfcc特征提取

實作

有了以上的初步概念，我們先以一個簡單範例，揭開語音辨識的序幕。這個範例主要是根據一些事先標註的語音檔，辨識我們輸入的語音是哪一個單字? 範例的標註資料共有 bed、cat、happy 三個單字，分別有幾百個高低音的檔案，實作的方式，我們很熟悉，採CNN，流程如下：

1. 利用 librosa 套件，對每一個音檔轉換成 MFCC 特徵向量。
2. 將 MFCC 特徵向量轉換成 CNN 的 input 格式。
3. 採取『阿拉伯數字辨識』一樣的CNN模型訓練。
4. 任意指定一個音檔作測試，讀者也可以使用錄音程式，錄一個單字作測試，當然只能是bed、cat、happy 三個單字。

程式碼來自『Building a Dead Simple Speech Recognition Engine using ConvNet in Keras』，我加了一些註解，也可至這裡下載，範例在 SpeechRecognition 資料夾，主程式為 SpeechRecognition.py 如下：

# 導入函式庫
from preprocess import *
import keras
from keras.models import Sequential
from keras.layers import Dense, Dropout, Flatten, Conv2D, MaxPooling2D
from keras.utils import to_categorical

# 載入 data 資料夾的訓練資料，並自動分為『訓練組』及『測試組』
X_train, X_test, y_train, y_test = get_train_test()
X_train = X_train.reshape(X_train.shape[0], 20, 11, 1)
X_test = X_test.reshape(X_test.shape[0], 20, 11, 1)

# 類別變數轉為one-hot encoding
y_train_hot = to_categorical(y_train)
y_test_hot = to_categorical(y_test)
print("X_train.shape=", X_train.shape)

# 建立簡單的線性執行的模型
model = Sequential()
# 建立卷積層，filter=32,即 output size, Kernal Size: 2x2, activation function 採用 relu
model.add(Conv2D(32, kernel_size=(2, 2), activation='relu', input_shape=(20, 11, 1)))
# 建立池化層，池化大小=2x2，取最大值
model.add(MaxPooling2D(pool_size=(2, 2)))
# Dropout層隨機斷開輸入神經元，用於防止過度擬合，斷開比例:0.25
model.add(Dropout(0.25))
# Flatten層把多維的輸入一維化，常用在從卷積層到全連接層的過渡。
model.add(Flatten())
# 全連接層: 128個output
model.add(Dense(128, activation='relu'))
model.add(Dropout(0.25))
# Add output layer
model.add(Dense(3, activation='softmax'))
# 編譯: 選擇損失函數、優化方法及成效衡量方式
model.compile(loss=keras.losses.categorical_crossentropy,
              optimizer=keras.optimizers.Adadelta(),
              metrics=['accuracy'])

# 進行訓練, 訓練過程會存在 train_history 變數中
model.fit(X_train, y_train_hot, batch_size=100, epochs=200, verbose=1, validation_data=(X_test, y_test_hot))


X_train = X_train.reshape(X_train.shape[0], 20, 11, 1)
X_test = X_test.reshape(X_test.shape[0], 20, 11, 1)
score = model.evaluate(X_test, y_test_hot, verbose=1)

# 模型存檔
from keras.models import load_model
model.save('ASR.h5')  # creates a HDF5 file 'model.h5'


# 預測(prediction)
mfcc = wav2mfcc('./data/happy/012c8314_nohash_0.wav')
mfcc_reshaped = mfcc.reshape(1, 20, 11, 1)
print("labels=", get_labels())
print("predict=", np.argmax(model.predict(mfcc_reshaped)))

程式執行

程式檔有兩個，SpeechRecognition.py及preprocess.py，前者為主程式，後者為公用函數，供主程式呼叫，執行時需要資料檔，請至這裡下載，將data資料夾與程式放置在同一目錄即可。

執行前必須先安裝及升級以下套件(Package)：
pip install librosa
pip install NumBa -U

在DOS內執行以下指令：
python SpeechRecognition.py

執行結果如下，『2』代表辨識為『happy』，結果正確。

結論

這個範例只辨識 bed、cat、happy 三個單字，你可以加入更多的單字作訓練資料，只要放入不同的資料夾，程式完全不用改變，甚至放入中文詞檔，應該也沒有問題，因為程式只是辨識頻率，它根本分不清楚是哪一種語言。

後記

原部落文已下架，請至這裡下載，檔案放在 SpeechRecognition 目錄下。